Q2D-Web: A Large-Scale Benchmark for Retrieval in Agentic RAG Systems
Q2D-Web：面向 Agentic RAG 的大规模检索基准
🧭 Agentic RAG 首阶段检索评估 ★ 深度解读
Perplexity AI
构建 190M 文档 / 70k agent 改写查询的私有检索基准，发现全量评估排序可用 30% 子语料复现
📌 工作参考价值（5 点）
- 评估检索器必须用改写后的 query：生产 Agentic RAG 里 first-stage retriever 接收的是 LLM 改写/分解后的 query，不是用户原始 query。电商/搜索团队如果自建 RAG 或 Agent 搜索，应收集线上改写 query 构建离线评估集，否则会低估或误判检索效果。
- 多信号 qrels 降低 false negatives：单一点击或引用标签召回很低，会误伤检索器。可借鉴其做法：组合『曝光点击/成交/加购』『人工标注』『LLM judge 对未标注候选再判』成多套 qrels，分别评测并观察排序是否稳定；电商搜索尤其适合用点击、加购、成交、客服负反馈等构造多源 label。
- RRF 子语料采样加速评估：保留所有 positive 文档，用 RRF 融合多个 retriever 的 top-k 结果抽取约 30% 文档，就能保持全量排序，评估成本下降约 2/3。业务中大规模召回模型快速迭代时可以直接复用这个 trick。
- BM25 与 dense 互补明显：BM25 总 Recall 最低，但 unique positive coverage 最高，说明 lexical 和 dense 覆盖不同相关文档。电商搜索里 BM25 对品牌型号、精确实体仍是重要召回通路，建议保留 BM25 路并与 dense 结果做 RRF 融合。
- 分 query 类型/领域/语言看召回：论文显示 neural retrievers 在 agent 生成的 support queries 上明显弱于 primary queries，BM25 相反；不同品类/语言差异也大。上线前应按改写 query 类型、类目、语言分片评估，不能只看一个平均 Recall。